tiktoken - 计算Token

概述

在类似chatgpt的场景中常常需要计算使用的token，使用tiktoken库可以指定计算token的算法来计算我们使用的token数量。

‍

‍

示例

# tiktoken
import tiktoken
encoding = tiktoken.get_encoding("cl100k_base")
prompt = "土豆焖肉怎么做？"

prompt_count = len(encoding.encode(prompt)) # 13
print(len(prompt))   # [74090, 44510, 228, 32016, 244, 57942, 231, 17486, 236, 82696, 49691, 248, 11571]
total_count = prompt_count
print("Prompt消耗 %d Token" % (prompt_count))